The factor structure of the Motivated Strategies for Learning Questionnaire (MSLQ): new methodological approaches and evidence

Abstract Background The area of self-regulated learning integrates the fields of metacognition and self-regulation and assumes that the student is an active processor of information capable of self-regulating his learning by putting together the cognitive, metacognitive, and motivational components. The Motivated Strategies for Learning Questionnaire (MSLQ) is a benchmark for the measurement of self-regulated learning. However, the field of study does not show adequate evidence of its structural validity. The vast majority of studies involving this question present serious methodological mistakes, compromising the evidence of validity. Objective Our study investigates the structural validity of MSLQ including all 15 scales and corrects relevant mistakes in the previous studies. Method We tested different models through item confirmatory factor analysis in a convenience sample of 670 college students (M = 22.8 years, SD = 5.2) from a public Brazilian university in the technological area. The models with the ML, MLR, MLM and WLMSV estimators. Results Only WLSMV produced models with acceptable fit. The final model has a bi-factor structure with a general factor (self-regulated learning), 15 components as first-order factors, and four broad components as second-order factors. Twelve first-order components, all second-order components and the general factor had acceptable reliability. The components' elaboration, intrinsic goal orientation and metacognitive self-regulation, did not show acceptable reliability, in terms of McDonald's omega. Conclusion Considering the worldwide importance of the MSLQ, we do not recommend the use of the measurement of these components for clinical practice and psychoeducational diagnosis until new studies show that this low reliability only occurs in our sample. Our study shows new evidence, correcting many previous methodological mistakes and producing initial evidence favorable to the factor structure of the MSLQ.

Testing the invariance of the metacognitive monitoring test / Investigando a invariância do teste de monitoramento metacognitivo / Investigando la invarianza de la prueba de monitoreo metacognitivo

Metacognition is predominantly measured by the self-report and think-aloud methods. This is problematic since they produce considerable both respondent and confirmatory biases, which implies damage to the measurement. The Metacognitive Monitoring Test (MMT) was created to evaluate metacognition through performance and eliminate the aforementioned biases. There is evidence of MMT convergent, divergent, structural, predictive and incremental validity. This article expands the validity studies about the MMT by analyzing the configural, metric and scalar invariance of MMT across sex, nationality, and educational level variables. The sample is composed of Brazilian and Honduran subjects, as well as 6st to 12st grades and higher education students. Results indicate configural, metric and scalar invariance for the sex variable, as well as configural invariance and metric and scalar partial invariance for nationality and educational level. It is concluded that the MMT allows comparing means of the latent variable measured in the analyzed groups. (AU)

Há uma hegemonia dos métodos de autorrelato e thinkaloud para avaliar metacognição. Isso é problemático, pois eles geram substanciais vieses do respondente e confirmatório, trazendo prejuízo à medida. O Teste de Monitoramento Metacognitivo (TMC) foi criado para avaliar a metacognição mediante o desempenho e eliminar os vieses supramencionados. Há evidências de validade convergente, divergente, estrutural, preditiva e incremental do TMC. Este artigo amplia os estudos de validade e analisa a invariância configural, métrica e escalar do TMC, em relação ao sexo, nacionalidade, e nível educacional. A amostra do estudo é composta por brasileiros e hondurenhos, e estudantes da 6ª à 12ª séries da educação básicae ensino superior. Os resultados indicam invariância configural, métrica e escalar para a variável sexo, assim como invariância configural e invariância parcial métrica e escalar para nacionalidade e nível educacional. Conclui-se que o TMC permite comparar médias da variável latente mensurada nos grupos analisados. (AU)

Hay un predominio de métodos de auto-reporte e think aloud para evaluar la metacognición. Esto es problemático, ya que dichos métodos producen un considerable sesgo de respuesta y confirmación, lo que implica un perjuicio en la medición. La Prueba de Monitoreo Metacognitivo (PMM) fue diseñada para evaluar la metacognición por medio del desempeño y eliminar los sesgos mencionados anteriormente. Hay evidencia de validez convergente, divergente, estructural, predictiva e incremental de la PMM. Este artículo amplía los estudios de validez sobre la PMM, analizando la invarianza configural, métrica y escalar de la PMM con respecto a las variables sexo, nacionalidad y nivel educativo. La muestra del estudio está formada por brasileños y hondureños, y estudiantes de 6º a 12º grado de educación básica y educación superior. Los resultados indican invarianza configural, métrica y escalar para la variable sexo así como invarianza configural e invarianza parcial escalar y métrica para nacionalidad y nivel educativo. Se concluye que la PMM permite comparar medias de la variable latente medida en los grupos analizados. (AU)

Measuring students learning approaches through achievement: structural validity of SLAT-Thinking / Medindo Abordagens de Aprendizagem pelo Desempenho: Validade Estrutural do TAP-Pensamento / Midiendo los Enfoques de Aprendizaje mediante el Desempeño: Validez Estructural del TAP-Pensamiento

The field of learning approach studies measures its constructs exclusively using self-report instruments. Recently created, SLAT-Thinking is the first test to measure performance approaches in a task that requires the respondent to identify the author's thinking in a given text. This paper presents the first evidence on the structural validity of SLAT-Thinking. A sample of 622 higher education students was randomly divided into training sample and test sample. Two models were tested in the training sample through confirmatory factor analysis of items, resulting in a final model. This model presented configural, metric, and scalar invariance when comparing the training and test sample. The results indicate that SLAT-Thinking reliably measures three levels of learning approaches: superficial, intermediate-deep, deep. The measurement of levels generates information not previously identified by the area, bringing conceptual implications for the construct.

O campo de estudos em abordagens de aprendizagem mensura exclusivamente seus construtos usando instrumentos de autorrelato. Criado recentemente, o TAP-Pensamento é o primeiro teste a mensurar abordagens via o desempenho em uma tarefa que demanda ao respondente identificar o pensamento do autor em determinado texto. O presente artigo apresenta as primeiras evidências sobre a validade estrutural do TAP-Pensamento. Uma amostra de 622 estudantes do ensino superior foi dividida aleatoriamente em amostra-treino e amostra-teste. Dois modelos foram testados na amostra-treino, via análise fatorial confirmatória de itens, resultando em um modelo final. Este modelo apresentou invariância configural, métrica, e escalar, ao se comparar a amostra treino e teste. Os resultados indicam que o TAP-Pensamento mensura de forma confiável três níveis de abordagens de aprendizagem: superficial, intermediária-profunda, profunda. A mensuração de níveis gera informações anteriormente não identificadas pela área, trazendo implicações conceituais para o construto.

El campo de estudios sobre los enfoques de aprendizaje mide sus constructos exclusivamente utilizando instrumentos de autorreporte. Recientemente creado, el TAP-Pensamiento es el primer test que mide los enfoques a través del desempeño de una tarea que demanda que la persona identifique el pensamiento del autor en un texto determinado. Este artículo presenta las primeras evidencias sobre la validez estructural del TAP-Pensamiento. Una muestra de 622 estudiantes de educación superior fue dividida aleatoriamente en muestra-entrenamiento y muestra-prueba. Dos modelos fueron testados en la muestra de entrenamiento a través del análisis factorial confirmatorio de ítems, lo que resultó en un modelo final. Este modelo presentó invarianza configural, métrica y escalar al comparar las muestras de entrenamiento y prueba. Los resultados indican que el TAP-Pensamiento mide de manera confiable tres niveles de enfoques de aprendizaje: superficial, intermedio-profundo y profundo. La medición por niveles genera información no identificada previamente por el área, trayendo implicaciones conceptuales para el constructo.